高性能コンピューティングにおける根本的な転換は、CPU中心のシーケンシャル実行モデルから、CPUがパイプラインを管理し、GPUが独立して動作する非同期プロデューサー・コンシューマー型モデルへの移行です。その核心的な認識は、 GPUは厳密な同期デバイスとして駆動することを意図していないという点です。これを同期的に扱おうとすると、「ストップ・アンド・ウェイト」のボトルネックが発生します。

1. ワークフローのライフサイクル

非同期的な考え方では、開発者は各タスクの完了を待つことはありません。代わりに、 メモリを割り当てて メモリを割り当て、 カーネルを起動し、 カーネルを起動し、 結果をコピーして戻す 非ブロッキングのリクエストをハードウェアキューに投入することで、結果を得ます。

2. ストールの回避

ホストが各操作後に 同期 を強制される場合、実行ギャップ（CPUとGPU間の通信時間）が性能を支配します。これに対して 非同期性を活用することで、CPUは処理を継続しつつ、GPUは自身のストリームを処理し、ハードウェアの飽和度を最大化できます。

$$\text{合計時間} = \max(\text{CPU作業量}, \text{GPU作業量}) + \text{同期オーバーヘッド}$$